决策和计划最复杂的任务之一是收集信息。当状态具有高维度,并且无法用参数分布表达其信念时,此任务就会变得更加复杂。尽管国家是高维的,但在许多问题中,其中只有一小部分可能涉及过渡状态和产生观察结果。我们利用这一事实来计算信息理论的预期奖励,共同信息(MI),在国家的较低维度子集中,以提高效率和不牺牲准确性。以前的工作中使用了类似的方法,但专门用于高斯分布,我们在这里将其扩展为一般分布。此外,我们将降低维度降低用于将新状态扩展到上一个的情况下,又不牺牲准确性。然后,我们继续开发以连续的蒙特卡洛(SMC)方式工作的MI估计器,并避免重建未来信念的表面。最后,我们展示了如何将这项工作应用于信息丰富的计划优化问题。然后在模拟主动大满贯问题的模拟中评估这项工作,其中证明了准确性和时序的提高。
translated by 谷歌翻译
Estimating uncertainty in image-to-image networks is an important task, particularly as such networks are being increasingly deployed in the biological and medical imaging realms. In this paper, we introduce a new approach to this problem based on masking. Given an existing image-to-image network, our approach computes a mask such that the distance between the masked reconstructed image and the masked true image is guaranteed to be less than a specified threshold, with high probability. The mask thus identifies the more certain regions of the reconstructed image. Our approach is agnostic to the underlying image-to-image network, and only requires triples of the input (degraded), reconstructed and true images for training. Furthermore, our method is agnostic to the distance metric used. As a result, one can use $L_p$-style distances or perceptual distances like LPIPS, which contrasts with interval-based approaches to uncertainty. Our theoretical guarantees derive from a conformal calibration procedure. We evaluate our mask-based approach to uncertainty on image colorization, image completion, and super-resolution tasks, demonstrating high quality performance on each.
translated by 谷歌翻译
许多具有挑战性的现实世界问题需要部署合奏多个互补学习模型,以达到可接受的绩效水平。虽然有效,但将整个合奏应用于每个样本都是昂贵且通常不必要的。深钢筋学习(DRL)提供了一种具有成本效益的替代方案,其中检测器是根据其前辈的输出动态选择的,其实用性加权其计算成本。尽管它们具有潜力,但基于DRL的解决方案并未在这种能力中广泛使用,部分原因是在为每个新任务配置奖励功能,DRL代理对数据变化的不可预测反应以及无法使用常见的反应的困难。性能指标(例如TPR/FPR)指导该算法的性能。在这项研究中,我们提出了用于微调和校准基于DRL的策略的方法,以便它们可以满足多个绩效目标。此外,我们提出了一种将有效的安全策略从一个数据集传输到另一个数据集的方法。最后,我们证明我们的方法对对抗性攻击非常强大。
translated by 谷歌翻译
矩阵函数可用于重写光滑光谱约束的矩阵优化问题,因为在一组对称矩阵的集合中,不受限制的问题,然后通过立方规范化的牛顿方法求解。事实证明,矩阵函数的二阶链条规则身份可以计算高阶导数以实现立方规范化的牛顿,并为矩阵矢量空间的立方调节牛顿提供了新的收敛分析。我们通过在合成数据集和真实数据集上进行数值实验来证明我们的方法的适用性。在我们的实验中,我们制定了一个新的模型,以估算泰勒的M-估计器(TME)模型的精神估算公平和稳健的协方差矩阵并证明其优势。
translated by 谷歌翻译
自主物理科学领域 - 机器学习指南和从闭环中的实验中学习的领域正在迅速增长。自主系统使科学家能够更聪明,学习速度更快,并在其研究中花费更少的资源。该领域有望改善各种设施的性能,例如实验室,研发管道和仓库。随着自主系统的数量,能力和复杂性的增长,出现了新的挑战 - 这些系统将如何在大型设施中共同运行?我们探索了这个问题的一种解决方案 - 一个多代理框架。我们展示了一个具有1)具有现实资源限制的模拟设施,例如设备使用限制,2)具有多种学习能力和目标的机器学习代理,对实验室仪器的控制以及运行研究活动的能力以及3)网络这些代理可以共享知识并共同努力以实现个人或集体目标。该框架被称为多代理自治设施 - 可扩展的框架又称多任务。多任务允许整个设施的模拟,包括代理启动和代理代理交互。框架模块化使真实世界的自主空间可以阶段上线,模拟仪器逐渐被现实世界的仪器代替。在这里,我们通过模拟材料实验室中的材料探索和优化的现实世界材料科学挑战演示了框架。我们希望该框架在基于代理的设施控制场景中开辟了新的研究领域基于游戏理论。
translated by 谷歌翻译
多任务学习,其中几个任务是通过单个模型共同学习的,允许NLP模型共享来自多个注释的信息,并在任务相互关联时可以促进更好的预测。但是,这项技术需要用多个注释方案对相同的文本进行注释,这可能是昂贵和费力的。活跃学习(AL)已被证明可以通过迭代选择对NLP模型最有价值的未标记示例来优化注释过程。然而,多任务主动学习(MT-AL)尚未应用于最新的基于预训练的变压器的NLP模型。本文旨在缩小这一差距。我们在三个现实的多任务场景中探索了各种多任务选择标准,反映了参与任务之间的不同关系,并与单任务选择相比演示了多任务的有效性。我们的结果表明,可以有效地使用MT-AL,以最大程度地减少多任务NLP模型的注释工作。
translated by 谷歌翻译
动力系统的演变通常由非线性偏微分方程(PDE)控制,在模拟框架中,其解决方案需要大量的计算资源。在这项工作中,我们提出了一种新颖的方法,该方法将超网络求解器与傅立叶神经操作员体系结构相结合。我们的方法分别处理时间和空间。结果,它通过采用部分差分运算符的一般组成特性,成功地在连续时间步骤中成功传播了初始条件。在先前的工作之后,在特定时间点提供监督。我们在各个时间演化PDE上测试我们的方法,包括一个,两个和三个空间维度中的非线性流体流。结果表明,新方法在监督点的时间点提高了学习准确性,并能够插入和解决任何中间时间的解决方案。
translated by 谷歌翻译
对于数字化或索引物理文档,光学特征识别(OCR)是从扫描文档中提取文本信息的过程,是一项重要技术。当文档在视觉上损坏或包含非文本元素时,现有技术会产生差的结果,因为错误的检测结果可能会极大地影响OCR的质量。在本文中,我们提出了一个针对商务文件的businet的检测网络。业务文件通常包括敏感信息,因此无法将其上传到OCR的云服务。Businet被设计为快速和轻巧,因此可以在本地避免使用隐私问题。此外,Businet旨在使用专门的合成数据集来处理扫描的文档损坏和噪声。通过采用对抗性训练策略,该模型可实现可观的噪音。我们对可公开可用的数据集进行评估,以证明我们的模型的有用性和广泛适用性。
translated by 谷歌翻译
在元加强学习(META RL)中,代理商从一组培训任务中学习如何快速解决从相同的任务分布中绘制的新任务。最佳的元rl政策,又称贝叶斯最佳行为,是很好的定义,并保证了对任务分布的预期最佳奖励。我们在这项工作中探讨的问题是,需要多少培训任务来确保具有很高可能性的大致最佳行为。最近的工作为无模型设置提供了第一个这样的PAC分析,其中从培训任务中学到了依赖历史的政策。在这项工作中,我们提出了一种不同的方法:使用密度估计技术直接学习任务分布,然后对学习任务分布进行培训。我们表明,我们的方法导致界限取决于任务分布的维度。特别是,在任务分布中处于低维多方面的环境中,我们将分析扩展到使用降低性降低技术并说明这种结构,从而比以前的工作明显更好,这严格取决于状态和行动的数量。我们方法的关键是内核密度估计方法所隐含的正则化。我们进一步证明,当“插入”最先进的Varibad Meta RL算法时,这种正则化在实践中很有用。
translated by 谷歌翻译
我们提出了一种新型的二次编程公式,用于估计群体同步中的损坏水平,并使用这些估计来解决此问题。我们的目标函数利用了组的循环一致性,因此我们将我们的方法称为结构一致性(DESC)的检测和估计。该一般框架可以扩展到其他代数和几何结构。我们的表述具有以下优势:它可以忍受与信息理论界限一样高的腐败,它不需要对小组元素的估计值进行良好的初始化,它具有简单的解释,在某些温和的条件下,我们的全球最小值目标函数准确恢复了腐败水平。我们证明了方法在旋转平均的合成和真实数据实验上的竞争精度。
translated by 谷歌翻译